fine tuning
既存の学習済みモデルの一部と、新たに追加したモデルを合わせた全体の微調整を行います。こうしてモデル全体のデータを再学習することで、汎化性能をより向上させます。 GPT-4.icon
転移学習と似ていますが、既存のモデル全体(またはその一部)を新しいタスクのデータで再訓練(微調整)します。 新しいタスクが元のタスクと大きく異なる場合や、新しいタスクのデータが十分にある場合に有用です
転移学習(transfer learning)使ってソースのデータセット(たとえば、椅子以外のデータもたくさん学習してるImageNet)から学習した知識をターゲットデータセット(椅子の認識)に転移する
https://gyazo.com/99e9e96e67d420d456c5bdfd93a3a7a0
source modelのoutput layerにはsource datasetのlabelと密接に関連していると考えられるのでつかわずに、まっさらなoutput layerにさしかえる(ランダムに初期化する)。その他はsource modelのレイヤーを使って学習する
こうするとOutput layerは0から学習されるので椅子のラベルを出力してくれるようになり、つかいまわしたレイヤーはFine-tuneされる